技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2024 iThome 鐵人賽
DAY
9
0
佛心分享-我的證照是這樣攻略的
老闆,外帶一份 AWS Certified Data Engineer
系列 第
9
篇
【Day 9】 製造資料給資料湖 / 成本分析
16th鐵人賽
aws
dea-c01
python
二坪山小弱砲
2024-09-23 23:05:03
173 瀏覽
分享至
今天還是繼續實作的部分
已知目前泥趴趴企業設的軟體工程師,開發了行情資訊接收程式後,打算擷取行情,把「交易明細」寫進檔案中,再扔進湖裡。 為什麼要這麼做?
以買賣期貨為例,一秒鐘可能會有 0 筆 ~ 數百甚是數千筆交易接連發生。 這些訊息會透過如訊息佇列(Message Queue)的方式接收並且排隊等待被處理。 這麼瑣碎的資料,不會長時間被保存在讀寫快速的設備上,那樣會很貴。
通常只會被保存在佇列中幾分鐘到幾小時。 所以要趁著可以記錄的時候,把行情收下來,等有空的時候再來分析。
流程
呼叫 Fugle 個股、期貨選擇權的 trade API。
接收到行情後,寫到檔案裡。
每隔 x 分鐘,包裝成一個檔案
把檔案拋送到 S3 Bucket。
程式碼
接收行情:
https://github.com/exsky/HighRiskTrader/blob/master/quote/mtxmonitor.py
產生檔案:
製作中...
上傳檔案機制:
corntab / event bridge / 製作中 ...
成本
AWS CLI 指令呼叫 S3 上傳與下載:
S3 檔案儲存與資料傳輸:https://aws.amazon.com/tw/s3/pricing/
結論
一秒鐘幾十萬上下 ...
留言
追蹤
檢舉
上一篇
【Day 8】IAM 的基本觀念與配置: User, Role 和 Policy
下一篇
【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例
系列文
老闆,外帶一份 AWS Certified Data Engineer
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
【Day 26】 做題庫小試身手 - 7
27
【Day 27】 做題庫小試身手 - 8
28
【Day 28】 做題庫小試身手 - 9
29
【Day 29】 做題庫小試身手 - 10
30
【Day 29】 做題庫小試身手 - 11
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22207
篇
完賽人數
600
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
新手學習編程,哪種編程語言好?
防火牆與DNS請教
硬盤只能在舊電腦上讀到 在新電腦上顯示不明硬盤
寫好了一個程式,想問打包成EXE的問題
FORTI 防火牆使用 RADIUS 認證問題請教
請問在ERP當中如何管理油漆、螺絲物料?
這屆鐵人賽有完賽禮嗎?有人收到嗎?
這樣的物件設計好嗎?
Python多執行緒日誌記錄系統問題
Outlook 會跳出"插入智慧卡"(有安裝HiCOS卡片管理工具)
熱門回答
這樣的物件設計好嗎?
防火牆與DNS請教
新手學習編程,哪種編程語言好?
Python多執行緒日誌記錄系統問題
Outlook 會跳出"插入智慧卡"(有安裝HiCOS卡片管理工具)
熱門文章
每日一篇學習筆記 直到我做完專題 :( [Day36]
每日一篇學習筆記 直到我做完專題 :( [Day37]
每日一篇學習筆記 直到我做完專題 :( [Day38]
Day 40 - 使用 Angular 原理圖從裝飾器遷移到函數
為什麼 C 語言中的 printf() 會多那個討人厭的 “f”?
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}